#спектральная регуляция весов02.08.2025
MIT представил метод стабильного обучения трансформеров с помощью липшицевых ограничений и оптимизатора Muon
Исследователи MIT разработали метод стабильного обучения больших трансформеров через липшицевы ограничения и спектральную регуляцию весов с оптимизатором Muon, исключая необходимость нормализаций.